OpenAI发布SWE-bench Verified，旨在更精确评估AI在软件工程任务中的表现，解决原SWE-bench存在的评估局限性，如过于严格的单元测试、不明确的问题描述和难以设置的开发环境。新基准通过引入容器化Docker环境，提高了评估的一致性和可靠性，显著提升了AI模型的表现评分。GPT-4o在新基准下解决了33.2%的样本，而最佳开源代理框架Agentless的得分也显著提高。这一改进有助于更准确地捕捉AI模型在软件工程任务中的真实能力，为AI在软件开发领域的应用提供更精确的评估工具，对推动相关技术发展具有重要意义。